CORE-Bench: A Comprehensive Benchmark for Code Retrieval in the Era of Agentic Coding
面向智能编码的代码检索综合基准 CORE-Bench
🧭 代码检索基准与Agent编码评估
Beihang University · Peking University
提出三层级代码检索基准，揭示Agent编码场景下检索性能急剧下降，微调可显著提升
📌 工作参考价值（3 点）
- 对于电商智能体（如自动化客服、商品信息管理）需要从代码库或结构化知识库中检索上下文时，可借鉴 CORE-Bench 的三层级评估框架（代码理解、问题定位、广泛上下文）来设计更全面的检索评估指标。
- 实验表明在 Agent 检索场景下，对通用嵌入模型简单微调即可大幅提升性能，这提示在构建垂直领域检索系统（如商品描述与用户意图匹配）时，可基于少量领域标注数据微调现有嵌入模型，低成本提升上线效果。
- CORE-Bench 揭示了传统代码搜索与 Agent 状态化检索之间的显著差距，类似地在电商推荐 Agent 中，从单纯文本匹配到需要结合会话状态、库存状态的上下文检索也存在鸿沟，需专门构建评测与优化方案。